PivotOPD: Learning to Recover from Pivotal Mistakes in Multi-Turn Agents
PivotOPD：多轮智能体从关键错误中学习恢复
🧭 Agent 多轮训练 · 关键错误恢复 ★ 深度解读
Princeton University · NVIDIA · University of Maryland
在关键轮做预防式 reverse KL、后续轮做恢复式 forward KL，大幅提升多轮 Agent 从关键错误恢复的成功率
📌 工作参考价值（4 点）
- 多轮 shopping/search agent 中，用 teacher hindsight 检测 pivotal mistake，把密集蒸馏信号集中在关键轮及后续恢复窗口，比均匀蒸馏更划算；在 WebShop 这类电商环境里，成功率提升明显大于部分得分，说明可把半途任务转化为完成订单。
- 若没有环境 oracle，可直接用较大 LLM 回读轨迹，选 candidate turns 并给出 gold action，与 student 实际 action 不一致就视为 pivotal；ALFWorld 上这种检测在 77.8% 失败轨迹中落在 oracle pivotal 附近，足够用于训练。
- 目标构造可复用：frozen student + gold/recovery action hint 作为 privileged self-teacher，生成学生风格的 token 级目标；预防用 reverse KL 压住错误动作，恢复用 forward KL 覆盖低概率恢复动作，两者放进同一个 PPO advantage 更新。
- 恢复预算 K 按任务调：短链路取 K=1，长动作链恢复取 K=2；蒸馏 advantage 建议 clip，preventive weight 设小，恢复序列只保留可解析且不泄露 hint 的回复。